sparklyr.flint 0.2: ASOF Joins, OLS Regression, and additional summarizers
我们很高兴地宣布,许多强大的新功能和改进现已成为 sparklyr.flint 0.2 的一部分!
使用 torch,几乎没有理由从头开始编写反向传播代码。它的自动微分功能称为 autograd,可跟踪需要计算梯度的操作以及如何计算它们。在这个由四部分组成的系列的第二篇文章中,我们更新了简单的手工编码网络以使用 autograd。
Getting familiar with torch tensors
在这个由四部分组成的迷你系列的第一部分中,我们介绍了您想要了解的有关 torch 张量的主要内容。作为一个说明性示例,我们将从头开始编写一个简单的神经网络。
sparklyr 1.4: Weighted Sampling, Tidyr Verbs, Robust Scaler, RAPIDS, and more
Sparklyr 1.4 现已推出!此版本具有令人愉悦的新功能,例如对 Spark 数据帧的加权采样和 tidyr 动词支持、基于中位数和四分位距标准化数据的稳健缩放器、RAPIDS GPU 加速插件的 spark_connect 接口,以及许多与 dplyr 相关的改进。
Please allow me to introduce myself: Torch for R
今天,我们很高兴推出 torch,这是一个 R 包,可让您从 R 原生使用类似 PyTorch 的功能。无需安装 Python:torch 直接基于 libtorch 构建,libtorch 是一个 C++ 库,提供构建神经网络所必需的张量计算和自动微分功能。
Introducing sparklyr.flint: A time-series extension for sparklyr
我们很高兴地宣布,sparklyr.flint 现已在 CRAN 上可用,它是使用 Flint 大规模分析时间序列的 sparklyr 扩展。Flint 是一个用于处理 Apache Spark 中时间序列的开源库,支持对时间序列数据集进行聚合和连接。
An introduction to weather forecasting with deep learning
几周前,我们展示了如何使用深度学习预测混沌动态系统,并通过从特定领域洞察中得出的自定义约束进行增强。全球天气是一个混沌系统,但其复杂度远高于许多通常用机器和/或深度学习解决的任务。在这篇文章中,我们提供了一个实用的介绍,介绍了一个简单的深度学习大气预报基线。虽然远非具有竞争力,但它可以说明更复杂和计算密集型的模型如何通过位于连续体“黑箱端”的方法来完成这项艰巨的任务。
这篇文章探讨了如何使用 TensorFlow 和 R 训练大型数据集。具体来说,我们介绍了如何下载和重新分区 ImageNet,然后使用 TensorFlow 和 Apache Spark 在分布式环境中跨多个 GPU 训练 ImageNet。
Deepfake detection challenge from R
几个月前,亚马逊、Facebook、微软和其他贡献者发起了一项挑战,内容是区分真实视频和人工智能生成的(“假”)视频。我们展示了如何从 R 中应对这一挑战。
FNN-VAE for noisy time series forecasting
在这个关于使用假最近邻 (FNN) 损失进行预测的迷你系列的最后一部分中,我们用卷积 VAE 替换了上一篇文章中的 LSTM 自动编码器,从而实现了相同的预测性能,但训练时间明显缩短。此外,我们发现,当底层确定性过程被大量噪声所掩盖时,FNN 正则化会大有帮助。
State-of-the-art NLP models from R
如今,微软、谷歌、Facebook 和 OpenAI 正在分享自然语言处理领域的许多先进模型。然而,关于如何使用 R 中的这些模型的资料却很少。在这篇文章中,我们将展示 R 用户如何访问和受益于这些模型。
Parallelized sampling using exponential variates
如何将看似迭代的无替换加权采样过程转化为高度可并行的过程?事实证明,一种基于指数变量的著名技术正是实现这一点的。
Time series prediction with FNN-LSTM
在最近的一篇文章中,我们展示了如何使用由假最近邻 (FNN) 损失正则化的 LSTM 自动编码器来重建非线性混沌动态系统的吸引子。在这里,我们探讨了同样的技术如何帮助进行预测。与容量相当的“原始 LSTM”相比,FNN-LSTM 可以提高一组非常不同的真实世界数据集的性能,尤其是对于多步预测中的初始步骤。
sparklyr 1.3: Higher-order Functions, Avro and Custom Serializers
Sparklyr 1.3 现已推出,具有令人兴奋的新功能,例如集成 Spark 高阶函数以及以 Avro 和用户定义的序列化格式导入/导出数据。
Deep attractors: Where deep learning meets chaos
在非线性动力学中,当状态空间被认为是多维的,但我们所拥有的数据只是一个单变量时间序列时,人们可能会尝试通过延迟坐标嵌入重建真实空间。然而,先验地不清楚如何选择重建空间的维数和时间滞后。在这篇文章中,我们展示了如何使用自动编码器架构来解决这个问题:只需给出一系列标量的观察结果,自动编码器就会直接学习以足够的维数来表示混沌系统的吸引子。